MLPERF Client 1.0 AI Benchmark được phát hành

Cách mạng AI đã đến, nhưng khác với những thay đổi trong công nghệ máy tính trước đây, hầu hết chúng ta tương tác với các mô hình AI tiên tiến qua đám mây. Các dịch vụ hàng đầu như ChatGPT, Claude và Gemini vẫn hoạt động trên nền tảng đám mây. Tuy nhiên, vì lý do bảo mật, nghiên cứu và kiểm soát, các mô hình AI chạy cục bộ vẫn được quan tâm. Việc đo lường hiệu suất AI của các hệ thống khách hàng với GPU và NPU một cách đáng tin cậy và trung lập là rất quan trọng.

Không gian Client AI đang rất biến động khi các nhà cung cấp phần cứng và phần mềm nỗ lực xác định loại tác vụ nào phù hợp nhất cho việc thực thi tại chỗ và tài nguyên tính toán tốt nhất để thực hiện chúng. Để giúp điều hướng môi trường thay đổi nhanh chóng này, tổ chức MLCommons và nhóm làm việc MLPerf Client duy trì một bộ chỉ số đánh giá client được phát triển hợp tác với các nhà cung cấp phần cứng và phần mềm lớn.

MLPerf Client 1.0 vừa được phát hành với nhiều cải tiến lớn so với phiên bản 0.6 trước đó. Công cụ mới này bao gồm nhiều mô hình AI hơn, hỗ trợ tăng tốc phần cứng trên nhiều thiết bị từ các nhà cung cấp khác nhau, và kiểm tra nhiều tương tác người dùng với các mô hình ngôn ngữ lớn. Nó cũng có giao diện đồ họa thân thiện, giúp thu hút nhiều người dùng hơn.

Bạn có thể quan tâm: Intel ra mắt công cụ mới để đo chất lượng hình ảnh game; AMD giới thiệu ROCm 7 với hiệu suất AI tăng 3 lần và hỗ trợ GPU Radeon; chiến lược AI mạnh mẽ của Huawei dường như đang hiệu quả - CloudMatrix 384 được cho là vượt trội hơn các bộ xử lý Nvidia khi chạy DeepSeek; MLPerf Client 1.0 giờ có thể kiểm tra hiệu suất với các mô hình Llama 2 7B Chat, Llama 3.1 8B Instruct của Meta và Phi 3 của Microsoft.

5 Mini Instruct cũng hỗ trợ mô hình Phi 4 Reasoning 14B, một ví dụ về hiệu suất của mô hình ngôn ngữ thế hệ tiếp theo với nhiều tham số hơn và khả năng vượt trội. MLPerf Client 1.0 khám phá hiệu suất trên nhiều loại câu lệnh khác nhau và hiện đã xem xét hiệu suất cho phân tích mã, điều mà các lập trình viên thường yêu cầu.

Nó cũng có khả năng đo hiệu suất tóm tắt nội dung với các cửa sổ ngữ cảnh lớn 4000 hoặc 8000 token như một tính năng thử nghiệm. Dải mô hình và kích thước ngữ cảnh này mang lại cho các tester phần cứng một bộ công việc có thể mở rộng hơn trên nhiều thiết bị. Ví dụ, một số công việc thử nghiệm trong bản phát hành này yêu cầu GPU có 16GB VRAM để chạy, cho phép chúng tôi kiểm tra phần cứng cao cấp, không chỉ các đồ họa tích hợp và NPUs.

Cấu trúc phần cứng và phần mềm của AI khách hàng rất đa dạng, với nhiều cách khác nhau để tăng tốc độ xử lý AI cục bộ. MLPerf Client 1.0 mở rộng các con đường tăng tốc này hơn trước, đặc biệt cho thiết bị Qualcomm và Apple. Dưới đây là danh sách các con đường hỗ trợ:

• Hỗ trợ hybrid NPU và GPU của AMD qua ONNX Runtime GenAI và Ryzen AI SDK

• Hỗ trợ GPU của AMD, Intel và NVIDIA qua ONNX Runtime GenAI-DirectML

• Hỗ trợ NPU và GPU của Intel qua OpenVINO

• Hỗ trợ hybrid NPU và CPU của Qualcomm qua Qualcomm Genie và QAIRT SDK

• Hỗ trợ GPU của Apple Mac qua MLX Version 1.

0 của bộ chuẩn cũng hỗ trợ các đường dẫn thực thi phần cứng thử nghiệm như Intel NPU và GPU qua Microsoft Windows ML và OpenVINO, hỗ trợ NVIDIA GPU qua Llama.cpp-CUDA, và hỗ trợ GPU trên Apple Mac qua Llama.cpp-Metal. Cuối cùng, MLPerf Client 1.0 đã có giao diện đồ họa cho phép người dùng hiểu rõ các bộ chuẩn mà họ có thể chạy trên phần cứng của mình và dễ dàng chọn lựa.

Phiên bản GUI mới của MLPerf Client cho phép theo dõi thời gian thực các tài nguyên phần cứng trên hệ thống, giúp người dùng dễ dàng kiểm tra xem GPU hoặc NPU đang được sử dụng đúng như mong đợi hay không. Trước đây, MLPerf Client chỉ là công cụ dòng lệnh, vì vậy giao diện người dùng mới này sẽ thu hút cả người dùng thông thường muốn thử nghiệm AI trên GPU hoặc NPU và các tester phần cứng chuyên nghiệp cần thu thập và so sánh kết quả trên nhiều cấu hình phần cứng và phần mềm khác nhau.

MLPerf Client 1.0 hiện đã có sẵn để tải miễn phí trên GitHub. Nếu bạn muốn tìm hiểu hiệu suất hệ thống của mình với nhiều tác vụ AI, hãy thử nghiệm. Chúng tôi đã trải nghiệm phiên bản 1.0 và rất hào hứng khám phá hiệu suất AI trên nhiều phần cứng khác nhau. Hãy theo dõi Toms Hardware trên Google News để cập nhật tin tức, phân tích và đánh giá mới nhất.

Hãy nhấn nút Theo dõi.

Nguồn: www.tomshardware.com/software/mlperf-client-1-0-ai-benchmark-released-new-testing-toolkit-sports-a-gui-covers-more-models-and-tasks-and-supports-more-hardware-acceleration-paths